Expected UX Improvements 使用者體驗預期提升
Why Does UX Impact Vary? 為什麼體驗最佳化有時候很有效，有時候差強人意？
比如說，轉化率增長 8% 和增長 104% 就是很大的區別。其實這也不奇怪，改進效果本來就跟下面這些事有關：
- The Existing Quality of the Experience 現有使用者體驗質量
產品中存在的UX問題越多，改進空間就越大。已經擁有優秀體驗的產品，提升空間相對較小。
- The Expertise and Talent of the Team 團隊專業度與才能
UX團隊越優秀，就越能做出正確的設計決策。但即使是頂尖專業人士也不可能每次都做出完美決策。
- The Quantity and Quality of the Changes 改變的數量與質量
大型專案通常對資料指標影響更大，但這並非絕對—有時小而精的設計變更也能帶來顯著提升。我們沒有發現專案規模與改進效果有統計學上的顯著關聯。
- The Precision and Sensitivity of the Methods and Metrics 方法與指標的精確度和敏感性
研究方法敏感性各異，部分由樣本規模決定。網站A/B測試可收集數千個資料點，能檢測極小變化；而40人參與的可用性測試則需更顯著差異才能確立統計學意義。Shopify團隊的小型設計更改雖認為正確，但未影響成功率更敏感的指標可能會捕捉這些變化。選擇研究方法時應考慮這點。關鍵基準測試研究宜結合多種方法（如問卷和分析資料）。
How Difficult the Behavior or Preference Being Measured Is to Change 使用者行為越難改，設計影響越小。
圖表解讀（每個柱形表示一次改版的提升幅度）：
X軸（Bin）：代表每項設計改進的提升幅度分割槽（以百分比為單位）
- 例如：
50%表示該設計改進帶來了 50% 的指標提升（如成功率提升50%）。
>400%表示提升超過了原來的 4 倍！
Y軸（Frequency）：出現該提升幅度的案例數量
| 提升區間 | 案例數 | 解讀 |
|---|---|---|
<0% | 11 | 有11個改版反而效果變差（負增長） |
0% ~ 25% | 29 | 是最多的區間，大多數專案只獲得了小幅改進 |
100% | 5 | 有5個專案效能翻倍 |
>400% | 5 | 有5個專案帶來了極其顯著的提升 |
Negative Impact on UX Metrics UX 指標的負面影響
些設計改動可能不會帶來提升，甚至可能讓體驗變差。比如有家公司設計改完之後，使用者提交表單的數量反而少了 65%。 哪怕做了調研，做出來的新設計也不一定靠譜。即便是最有經驗、最有才華的 UX 專業人士，也可能實施出不符合預期效果的設計。只要你在進行研究並持續收集資料，就能及時發現設計錯誤。
一旦發現設計搞砸了，就趕緊改掉，別讓它持續傷害使用者體驗。越早發現這些錯誤，造成的損害就越小。
Metric Category Definitions 指標分類表
應用場景建議：
- 產品設計評估指標體系
- UX改版效果追蹤
- 指標看板搭建（Dashboard）
- 使用者研究報告結構參考
| 指標類別（Metric Category） | 使用者體驗維度（Aspect of the UX） | 示例指標（Example Metrics） |
|---|---|---|
| 使用者採納 / 留存（Adoption / Retention） | 獲取新使用者或保留老使用者，包括流量與訪問量 | 線索提交數、申請表提交數、訂閱註冊數、續訂數、新訪問者、回訪使用者、來自自然搜尋的使用者 |
| 有效性（Effectiveness） | 使用者是否能成功完成任務 | 成功率、完成率 |
| 效率（Efficiency） | 使用者完成任務的速度與流暢程度 | 任務時間、平均會話時長、樹狀測試得分、完成時間、錯誤數量 |
| 參與度 / 使用情況（Engagement / Usage） | 使用者使用產品或功能的頻率、深度或廣度 | 人均會話次數、跳出率、頁面價值、功能使用率、活躍使用者數 |
| 收入（Revenue） | 產品帶來的實際營收金額 | 每月營收、每次會話營收、平均訂單價值 |
| 滿意度 / 感知（Satisfaction / Perception） | 使用者對體驗的主觀感受與滿意度 | 易用性評分、CSAT滿意度評分、NPS推薦值、應用商店評分、主觀成功感 |
Average Improvements by Metric Category 按指標類別劃分的平均改進幅度
每個指標類別的平均改進幅度略有不同，但其置信區間都較寬（置信區間表示該平均值的不確定性範圍，範圍越寬說明資料變動越大）
- 提升最顯著的類別是：有效性（131%）與效率（104%），說明設計對“幫助使用者完成任務”這一目標影響最大。
- 滿意度提升幅度最小（19%）很難改，但也最穩定，說明感知類指標改善空間較小但更可控。
- 某些類別存在負值下限（如有效性 -9%，參與度 -3%），表明部分專案甚至可能在這些方面出現“變差”的風險。
| 指標類別（Metric Category） | 設計專案中的平均提升幅度（Average Improvement） | 平均提升範圍（95% 置信區間） |
|---|---|---|
| 滿意度 / 感知（Satisfaction / Perception） | 19% | 6% ～ 33% |
| 參與度 / 使用情況（Engagement / Usage） | 87% | -3% ～ 177% |
| 使用者採納 / 留存（Adoption / Retention） | 93% | 45% ～ 140% |
| 效率（Efficiency） | 104% | 31% ～ 177% |
| 有效性（Effectiveness） | 131% | -9% ～ 271% |
